这个项目是我在尝试进行表达式搜索以后开始的，目的是测试一下在MCU上跑一些小规模网络的可能性，整套开发都是基于F401CC单片机进行，最终效果可以说比较喜人，RNN和DNN的计算速度相当给力，实际的应用价值还是很高的。

我在这个项目中基于DSP库的矩阵运算，手写了一套类似keras的常用层函数，包括：

上面的函数可以满足大多数网络的计算要求，只要单片机性能和资源足够，也可以实现一些比较有代表性的模型。

我选择的是一款STM32的单片机，具体型号为 STM32F401CC ，这个单片机拥有 64K 的RAM和 256K 的Flash，资源配置相比其他F4系列的芯片非常普通，但它依然顺利跑完了模型。

先看一下实际的运行效果，数据库来源于 MNIST-Fashion，经过Python脚本处理后，将前14张的照片转成用于OLED显示的字节数据，如果想看有关图像转换部分的实现，可以看我后续的文档介绍。

模型的训练并不在单片机中实现，这是前提，所以并非在单片机上跑神经网络就表示既要在单片机上训练，又要在单片机上测试，这个误解不能有。我们的目的是用单片机去执行训练好的模型，而非在单片机上从头开始，试想一下，一个只有 64K RAM 的小芯片，它能做什么呢？

从这个误解中走出来，相对就方便多了，毕竟重构网络的计算比重构网络的训练要简单多了。目前大部分的深度学习网络都离不开矩阵运算，用单片机重新实现矩阵运算今儿重构网络模型就是一条非常有意义的思路。

模型的训练在PC端完成即可，我使用了Keras来搭建模型，通过Python完成模型的训练，然后我写了一个函数用来把训练好的模型的权重信息导出。模型的权重信息本质上是一堆浮点型的数据，在Keras的模型里就是矩阵。这个矩阵会转成C语言里的数组数据，定义在 Weight.h 文件中，不过好在我用Python写了一段脚本，可以直接把模型权重转换成 weight.h 文件，省去了很多事。

首先在PC端搭建网络模型，由于我在单片机上已经实现了一个 CNN 网络，所以我可以直接使用卷积运算，模型的结构是这样的：

模型搭建完成后即可训练，使用 Adam 作为优化器进行训练后，模型可以达到至少94%的准确率，准确率不算特别高，但对于验证单片机跑神经网络这个事件本身而言足够了。训练完成后可以导出模型的权重，通过模型结构流程图可以知道，模型的权重矩阵的shape为：

所以原则上 weight.h 需要定义 8 个数组，每一个 kernel矩阵 都需要有一个 偏置矩阵 对应，因为有四层输出，所以需要 8 个数组来定义。

好在，Python脚本帮我完成了转换。

STM32F4可以使用Mbed平台进行编程，我使用PlatformIO平台借助Mbed对F401编写代码。卷积神经网络需要用到卷积层、池化层、Flatten层和Softmax层，所以我提前完成了2D卷积层、2D池化层和其他需要层的定义。首先以2D卷积层为例，定义结构体如下：

2D池化层定义如下：

FLatten层的定义如下：

用到的函数原型定义：

需要说明一下的是，这里的softmax并不是真正意义上的softmax函数，因真正的softmax函数需要根据输出记性概率转化，这个过程计算起来非常复杂，单片机的能力有限，所以这里的softmax其实是取最后一个输出层的最大值索引，因为最大值往往通过softmax计算之后也对应了最大的概率，所以最终结果是一致。

最后贴上实现整个模型的C代码：

之前使用循环神经网络跑MNIST数据集时可以达到每张图6ms的速度，可以说非常快了，在使用这个卷积神经网络进行识别分类时，可以达到10ms，也就是10帧的速度，速度也还可以的，毕竟，MNIST的输入图只有 28×28 大小。

总体来说，单片机的运行资源比较有限，想实现高难度大规模的模型是不太可能的，但是另一方面，运行一些优化好且体积较小的模型也是可行的，这里主要依赖于单片机的资源条件。总体来说，单片机的运行频率决定了模型能跑多快，单片机的片内资源大小决定了模型能跑多大。有关这部分的总结，我写在了下一篇博文中，对我在开发过程中遇到的问题，已经开发经验做了整理，或许会有一些参考的价值。